草庐IT

flink 并行度

全部标签

c# - 并行框架和避免虚假共享

最近,我回答了一个关于优化用于生成任意基数的每个排列的可能并行化方法的问题。我发布了一个类似于Parallelized,poorimplementationcodeblocklist的答案,几乎立即有人指出了这一点:Thisisprettymuchguaranteedtogiveyoufalsesharingandwillprobablybemanytimesslower.(credittogjvdkamp)他们是对的,死亡很慢。也就是说,我研究了这个话题,发现了一些interestingmaterialandsuggestions(仅存档MSDN杂志,.NET问题:虚假共享)与它作斗

flink常见故障排除

本博客总结为B站尚硅谷大数据Flink2.0调优,Flink性能优化视频中常见故障排除的的笔记总结。1.非法配置异常如果看到从TaskExecutorProcessUtils或JobManagerProcessUtils抛出的IllegalConfigurationException,通常表明存在无效的配置值(例如负内存大小、大于1的分数等)或配置冲突。请重新配置内存参数。2.Java堆空间异常如果报OutOfMemoryError:Javaheapspace异常,通常表示JVMHeap太小。可以通过增加总内存来增加JVM堆大小。也可以直接为TaskManager增加任务堆内存或为JobMan

c# - 限制异步方法的并行度而不阻塞线程池线程

我有一个异步方法RequestInternalAsync()它向外部资源发出请求,并希望编写一个包装方法,通过减少并行性来限制对该方法的并发异步请求的数量。想到的第一个选项是TaskScheduler并发性有限(LimitedConcurrencyLevelTaskScheduler、ConcurrentExclusiveSchedulerPair等)。但要使用自定义调度程序运行任务,我必须使用TaskFactory启动任务只接受Action,即我不能通过不阻塞额外的线程来等待内部方法的执行来做到这一点。第二个选项是SemaphoreSlim,它完成了它的工作,但在这种情况下,我正在实

c# - 任务并行库中的任务如何影响ActivityID?

在使用任务并行库之前,我经常使用CorrelationManager.ActivityId来跟踪多线程的跟踪/错误报告。ActivityId存储在线程本地存储中,因此每个线程都有自己的副本。这个想法是,当你启动一个线程(事件)时,你分配一个新的ActivityId。ActivityId将与任何其他跟踪信息一起写入日志,从而可以为单个“事件”挑出跟踪信息。这对于WCF非常有用,因为ActivityId可以转移到服务组件。这是我正在谈论的例子:staticvoidMain(string[]args){ThreadPool.QueueUserWorkItem(newWaitCallback(

c# - 任务并行库 - LongRunning 任务与多个 Continuations

我正在研究TaskParallelLibrary在我正在进行的工作项目中的使用情况,并且想了解长时间运行任务的优点/缺点。我还没有真实的例子,只是想了解这背后的理论。根据MSDN页面关于taskschedulers的说法还有这个SOquestion,似乎最好尽可能避免长时间运行的任务,这样您就不会在ThreadPool之外创建线程。但是假设您确实有一项需要很长时间才能完成的任务,而不是这样:Task.Factory.StartNew(()=>DoTimeConsumingWork(),TaskCreationOptions.LongRunning)您能否尝试将您的工作拆分为更小、更快的

c# - 现在开始为任务并行库设计是否为时过早?

自从Microsoft首次宣布.NET任务并行库(TPL)以来,我一直以极大的兴趣关注它的开发。我坚信我们最终会利用TPL。我想问的是,在VisualStudio2010和.NET4.0发布时开始利用TPL是否有意义,或者再等一段时间是否有意义。为什么现在开始?.NET4.0任务并行库似乎设计得很好,一些相对简单的测试表明它在当今的多核CPU上运行良好。自大约七年前购买我的第一台四处理器DellPoweredge6400以来,我一直对使用多个轻量级线程来加速我们的软件的潜在优势非常感兴趣。当时的实验表明这是不值得的,我主要将其归因于在每个CPU的缓存(当时没有共享缓存)和RAM之间移动

c# - .NET 4 任务并行库可以使用 COM 对象吗?

这是一个“这可能吗,如果可以的话,你能给我一个简单的例子吗,因为我在网上找不到一个?”类似的问题。我有许多完全独立的(即“令人尴尬的并行”)进程,我想使用C#在.NETFramework4中使用TaskParallel库并行运行这些进程。其中一些流程需要使用可通过COM/OLE自动化访问的软件。具体来说,有一个Parallel.Foreach()循环从项目列表中划分任务,基本上调用Parallel.Foreach内部的不同函数来处理处理(因此其中一些函数使用COM库来工作).这可能吗?谢谢。 最佳答案 通过TPL使用COM对象是10

c# - 异步和并行下载文件

编辑我更改了问题的标题以反射(reflect)我遇到的问题,但也提供了有关如何轻松实现此问题的答案。我正在尝试使第二种方法返回Task而不是Task与第一种方法一样,但由于尝试修复它,我遇到了一系列错误。我添加了return之前awaitbody(partition.Current);然后它要求我在下面添加一个返回语句,所以我添加了returnnull以下但是现在select语句提示它无法从查询中推断出类型参数我改Task.Run至Task.Run但没有成功。我该如何解决?第一个方法来自http://blogs.msdn.com/b/pfxteam/archive/2012/03/05

c# - .Net 中可用的并行技术

我是.Net平台的新手。我搜索了一下,发现在.Net中有几种方法可以进行并行计算:任务并行库中的并行任务,即.Net3.5。PLINQ、.Net4.0异步编程,.Net2.0,(异步主要用于执行I/O繁重的任务,F#具有支持此功能的简洁语法)。我列出这个是因为在Mono中,似乎没有TPL或PLINQ。因此,如果我需要编写跨平台并行程序,我可以使用异步。.Net线程。没有版本限制。您能否就这些给出一些简短的评论或在此列表中添加更多方法? 最佳答案 您确实需要进行大量研究才能确定如何有效地使用多线程。有一些不错technicalarti

c# - 我是在做错什么还是无法并行提取 zip 文件?

我创建这个是为了测试并行提取:publicstaticasyncTaskExtractToDirectoryAsync(thisFileInfofile,DirectoryInfofolder){ActionBlockblock=newActionBlock((entry)=>{varpath=Path.Combine(folder.FullName,entry.FullName);Directory.CreateDirectory(Path.GetDirectoryName(path));entry.ExtractToFile(path);},newExecutionDataflow